DRIFT: Decoupled Rollouts and Importance-Weighted Fine-Tuning for Efficient Multi-Turn Optimization
解耦轨迹生成与重要性加权微调的高效多轮优化
🧭 多轮交互优化 · 加权监督微调 ★ 深度解读
The Hong Kong University of Science and Technology (Guangzhou) · The Chinese University of Hong Kong, Shenzhen
通过将KL正则化RL目标等价为重要性加权SFT，以监督效率实现多轮推理的强化学习性能
📌 工作参考价值（4 点）
- 离线轨迹 + 重要性权重替代在线RL：在对话式推荐、智能客服等需多轮交互的场景，可离线采样参考策略的轨迹，按指数回报加权后做SFT，避免每次模型更新都重跑多轮对话，显著降低训练成本。
- 奖励塑形设计：用折扣因子鼓励尽早成功，并加入重复惩罚防止模型原地打转，这种回报定义可直接复用于需要逐步修正输出的Agent任务（如多轮搜索、工具调用）。
- 仅监督最后一轮：在“正确即停”的交互协议下，只对轨迹的最终响应施加权重，跳过已被验证器否定的中间尝试，简单有效地改善了偏差-方差权衡，适用于类似纠错场景的轨迹数据利用。
- Prompt 级权重归一化：对同一prompt下的多条轨迹独立计算分区函数进行归一化，保证权重只在局部比较相对好坏，稳定训练，这一技巧可推广至其他基于rollout重要性采样的微调方法。